做爬虫会有前途吗？

阅读文本大概需要 5 分钟。

这几年随着人工智能领域的大火，Python 这门语言逐渐出现在主流视野中。Python 语法易懂，编写简洁，并且还拥有非常丰富的库，很多人工智能项目首选的语言就是用 Python，可以说是人工智能把 Python 带火起来。

而我从毕业来到上海工作至今已有半年的时间，做的工作是爬虫。

这半年可以说是自己人生中最重要的一个转折点，因为我现在已经有能力在上海站稳脚跟，不说大富大贵，但就我个人而言至少可以衣食无忧，甚至每个月还可以出去跟朋友喝喝小酒。

但要知道半年前我公众号还是几十位读者数，而我也不知道毕业之后我会发展成什么样。这一切的变化都要感谢自己曾经的选择「入行爬虫」。

一 认清自己的实力

人最怕的就是盲目自大，明明自己没有这个实力，偏偏就爱跟别人BB。我在大学期间可以说是一个十足的学渣，大学四年一共挂了 13 门课，每个假期都是宿舍最早到那个，因为每学期都要回来补考。虽然我本科的专业是计算机，但我的技术却非常的菜。大四上的时候我花了一周的时间，认真思考自己的技术水平。我知道只有全面认清自己的实力，我才有可能突出重围。

那时候 IT 行业最热的方向是安卓开发，但市场已经开始饱和，对于初级安卓开发人员非常不友好，而与之相反的就是 Python 开发，有了要崛起的迹象。在认识到自己技术实力之后，我很清楚的意识到如果我选择安卓开发，我一定拼不过别人。但如果我选择还有些冷门的 Python 行业，我是有一定几率进入到互联网行业，入行了我才有可能有更好的出路。

而 Python 领域最容易入门的方向就是爬虫，为什么是爬虫？

一 市场需求旺盛，现在是大数据时代，除了一些大公司有能力自己产生数据，其他的大部分公司都是靠爬虫来获取数据。二是爬虫的技术栈非常少，只要你稍微有点编程基础，认真学最多 4 个月的时间，你就能把主流的爬虫技术都学完。需求大，又易学，这就让我这样不学无术的学渣抓住了救命草，爬虫就是我北上广扎根的入场券。

二 爬虫只会越来越难做

我的公众号有很多读者还是大学生，时常会在后台或者微信上收到这样类似的消息「海哥你好，我是大三（四）的学生，想问问现在爬虫行业怎么样？我应该选择爬虫做为未来的发展吗？」

一个爬虫师实力有多少，就看他反反爬的能力有多强。常见的反爬手段有请求头验证和 ip 频率限制，稍微难点就是图形验证，需要你点击图片中正确的文字，再者就是极验的轨迹滑动，终极难的就是阿里的反爬。全中国能破解阿里反爬的人数不超过 100 个，反过来说只要你有能力破解阿里的反爬，一个月至少赚 15W。

说实话爬虫这个行业只会越来越难做，并且门槛会越来越高。因为现在反爬的技术只会越来越强，别人都是一个团队在弄反爬并且掌握主动权，随时随地就可以改变反爬策略。甚至在如今人工智能时代，已经有很多网站开始收集你各方面的行为，通过机器学习训练模型，来判别这个请求是机器还是人。而你却是单兵作战，只要对方网站改版你的爬虫就 GG。

如果你是大三学生，我都会建议不要选择爬虫这个行业，Python 领域最火也是最有前景的方向就是人工智能。如果你学历不错，并且还有一定的自学能力，我强烈建议你就 all in AI。但如果你学历一般，对 Python 没那么感兴趣，大可选择做 Java 后台，选 js 做前端。

那如果你现在和我一样身处爬虫行业，那未来的出路又在哪里？一是成为那国内 100 人之一，做顶级的反反爬高手。二是转数据分析，爬虫最终目的就是提供数据，那数据分析的基础就是数据，所以数据分析天然成为爬虫进阶方向之一。这也是我接下来追求的目标。

但不论未来我会做出什么样的决定，是爬虫成就了今天的痴海，即使我未来不在做爬虫，但我对爬虫的热爱一定不会消失。现在我们回到标题「做爬虫有前途吗？」，每个人都会有不同的答案。我的回答是：非常有前途。因为它让我入行了互联网，让我的未来有无限的可能。不管做哪行，最重要的还是持续的学习能力，能持续做出最适合自己的判断。

人们常说「选择大于努力」，这句话对我受益匪浅，我自身就是因为几次正确的选择，让我各方面的能力和认知有了非常大的进步。但面对现实的情况，我们应该如何做出选择？选择的依据又是什么？这里面就又有非常多的学问，下期的文章我就从一些科学角度帮大家做出更好的选择。

置顶痴海

与 3W 人

一起向上生长

推荐阅读：